H.264/MPEG-4 AVC

3. 역사

1998년 초, 영상 부호화 전문가 그룹(VCEG – ITU-T SG16 Q.6)은 H.26L이라고 불리는 프로젝트에 대한 제안을 요청했으며, 광범위한 응용 분야에서 다른 기존 영상 부호화 표준에 비해 부호화 효율을 두 배로 높이는 것(즉, 주어진 수준의 충실도에 필요한 비트 전송률을 절반으로 줄이는 것)을 목표로 했다.^[9] VCEG는 게리 설리번(마이크로소프트, 전 픽처텔)이 의장을 맡았다. 그 새로운 표준에 대한 첫 번째 초안 설계는 1999년 8월에 채택되었다. 2000년에는 토마스 비간트(하인리히 헤르츠 연구소)가 VCEG 공동 의장이 되었다.

2001년 12월, VCEG와 MPEG(Moving Picture Experts Group – ISO/IEC JTC 1/SC 29/WG 11)은 영상 부호화 표준을 최종 확정하기 위해 공동 비디오 팀(JVT)을 구성했다.^[9] 사양의 공식 승인은 2003년 3월에 이루어졌다. JVT는 게리 설리번, 토마스 비간트, 그리고 아제이 루트라(모토로라: 나중에 아리스 그룹)가 의장을 맡았다. 2004년 7월에는 충실도 범위 확장(FRExt) 프로젝트가 완료되었다. 2005년 1월부터 2007년 11월까지 JVT는 확장 가능한 비디오 코딩(SVC)이라고 불리는 부록(G)을 통해 H.264/AVC를 확장하여 확장성을 확보하는 작업에 착수했다. JVT 관리 팀은 옌스-라이너 옴(아헨 공과대학교)에 의해 확장되었다. 2006년 7월부터 2009년 11월까지 JVT는 3D 텔레비전 및 제한된 범위의 자유 시점 텔레비전을 목표로 H.264/AVC의 확장인 다중 시점 비디오 코딩(MVC) 작업을 수행했다. 이 작업에는 표준의 두 가지 새로운 프로파일인 다중 시점 하이 프로파일 및 스테레오 하이 프로파일의 개발이 포함되었다.

H.264/AVC의 첫 번째 버전 표준화는 2003년 5월에 완료되었다. 최초 표준을 확장하는 첫 번째 프로젝트에서 JVT는 이후 Fidelity Range Extensions(FRExt)라고 불리는 것을 개발했다. 이러한 확장을 통해 더 높은 샘플 비트 심도 정밀도와 Y′C_BC_R 4:2:2(일명 YUV 4:2:2) 및 4:4:4와 같은 샘플링 구조를 포함한 더 높은 해상도의 컬러 정보를 지원하여 더 높은 품질의 비디오 코딩이 가능해졌다. 4×4 변환과 8×8 변환 간의 적응형 전환이 있는 8×8 정수 이산 코사인 변환 (정수 DCT) 추가, 인코더 지정 지각 기반 양자화 가중 행렬, 효율적인 인터-픽처 무손실 코딩 및 추가 색 공간 지원과 같은 몇 가지 다른 기능도 FRExt 프로젝트에 포함되었다. FRExt 프로젝트의 설계 작업은 2004년 7월에 완료되었고, 초안 작업은 2004년 9월에 완료되었다.

전문적인 응용 분야를 위해 주로 고안된 5개의 다른 새로운 프로파일이 개발되었으며, 확장된 색 영역 색 공간 지원을 추가하고, 추가적인 화면비 표시기를 정의하고, 두 가지 추가 유형의 "보조 향상 정보"(사후 필터 힌트 및 톤 매핑)를 정의했다.

다음 주요 기능으로 확장 가능한 비디오 코딩 (SVC)이 표준에 추가되었다. H.264/AVC의 부록 G에 명시된 SVC는 SVC를 지원하지 않는 H.264/AVC 코덱으로 디코딩할 수 있는 "기본 레이어"로 알려진 서브 비트스트림을 포함하여 표준을 준수하는 서브 비트스트림의 ''레이어''를 포함하는 비트스트림의 구성을 허용한다. 확장 가능한 비디오 코딩 확장은 2007년 11월에 완료되었다.

다음 주요 기능은 멀티뷰 비디오 코딩 (MVC)으로 표준에 추가되었다. H.264/AVC의 부록 H에 명시된 MVC는 비디오 장면의 두 개 이상의 뷰를 나타내는 비트스트림 구성을 가능하게 한다. 이 기능의 중요한 예는 입체 3D 비디오 코딩이다. 멀티뷰 비디오 코딩 확장은 2009년 11월에 완료되었다.

4. 특징

H.264/AVC는 이전의 동영상 압축 표준(MPEG-2, H.263, MPEG-4 파트 2)에 비해 낮은 비트레이트(데이터 전송량)에서도 비슷하거나 더 좋은 화질을 제공하며, 다양한 시스템과 네트워크 환경에 적용될 수 있도록 설계되었다.^[47] 2003년 표준안 발표 이후, JVT는 H.264에 대한 확장 표준안을 개발하여 고화질 비디오를 위한 FRExt(Fidelity Range Extensions)를 발표하였고(~ 2007년 버전 7), SVC(Scalable Video Coding) 모드(2007년 버전 8)와 다중 카메라를 위한 MVC(Multiview Video Coding) 확장안(2009년)을 추가하였다.

H.264는 MPEG-1, MPEG-2, H.261, H.263, MPEG-4와 같은 기존의 동영상 압축 방식과 유사하게 공간 변환, 프레임 간 예측, 양자화, 엔트로피 부호화를 사용한다. 그러나 H.264는 이러한 기술들을 크게 개선하고, 산술 부호화와 같은 새로운 도구를 추가하여 압축 효율을 높였다.

특히, H.264는 16비트 정수 정밀도의 정수 변환을 사용하여 연산 복잡도를 줄이고, 디코더 간의 연산 결과 차이를 없앴다. 이를 통해 인코딩 시 로컬 디코더와 모든 디코더의 출력 결과가 완전히 동일하게 되어, 이미지 노이즈 축적을 방지하고 디코더 규격 적합성 검증을 용이하게 하였다.

또한, H.264는 여러 개의 참조 프레임을 허용하고, 다양한 블록 크기의 움직임 보상을 지원하며, 가중치 예측(Weighted Prediction)을 사용하여 페이드나 디졸브와 같은 특수 효과가 사용된 동영상의 화질을 향상시켰다.

H.264의 비트열 규칙(구문)은 VCL(Video Coding Layer)과 NAL(Network Abstraction Layer)의 2층 구조를 가지며, 다양한 용도로 압축 데이터를 유연하게 적용할 수 있도록 하였다.

H.264는 마이크로소프트의 VC-1과 함께 높은 압축 효율을 가진 동영상 압축 규격으로 평가받고 있으며, 국제 표준화 단체의 규격으로서 전 세계적으로 널리 채택되고 있다.

H.264/AVC는 사용 목적에 따라 다양한 기능을 선택적으로 사용할 수 있도록 여러 '''프로파일'''과 '''레벨'''을 제공한다. 프로파일은 특정 응용 분야에 필요한 기능 집합을 정의하며, 레벨은 디코더 성능 정도를 나타내는 제약 조건 집합이다.

4. 1. 주요 기술

• 다중 그림 프레임 간 예측:
• 이전에 인코딩된 그림을 참조로 사용하므로 경우에 따라 최대 16개의 참조 프레임(또는 인터레이스 인코딩의 경우 32개의 참조 필드)을 사용할 수 있다. IDR 프레임을 지원하지 않는 프로파일의 경우 대부분의 레벨에서는 최대 해상도에서 최소 4개 또는 5개의 참조 프레임을 허용할 수 있을 만큼 충분한 버퍼링을 사용할 수 있도록 지정한다. 이는 일반적으로 제한이 하나였던 이전 표준과 대조적이다. 또는 기존의 "B 그림"(B-프레임)의 경우 두 개이다.
• 16×16에서 4×4까지의 블록 크기를 갖는 가변 블록 크기 모션 보상(VBSMC)을 통해 움직이는 영역을 정밀하게 분할할 수 있다. 지원되는 루마 예측 블록 크기에는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4가 포함되며, 그 중 많은 크기를 단일 매크로블록에서 함께 사용할 수 있다. 크로마 서브샘플링을 사용하는 경우 크로마 예측 블록 크기는 그에 따라 더 작아진다.
• B 매크로블록이 16개의 4×4 파티션으로 구성된 경우 최대 32개(파티션당 1~2개)의 매크로블록당 여러 개의 모션 벡터를 사용할 수 있다. 각 8×8 이상 파티션 영역의 모션 벡터는 다른 참조 그림을 가리킬 수 있다.
• B-프레임에서 I-매크로블록을 포함한 모든 매크로블록 유형을 사용하여 B-프레임을 사용할 때 훨씬 더 효율적인 인코딩을 수행할 수 있다. 이 기능은 특히 MPEG-4 ASP에서 제외되었다.
• 반 펠 루마 샘플 예측을 도출하기 위한 6탭 필터링으로 서브픽셀 모션 보상을 더욱 선명하게 한다. 쿼터 픽셀 모션은 처리 능력을 절약하기 위해 반 픽셀 값의 선형 보간에 의해 파생된다.
• 모션 보상을 위한 쿼터 픽셀 정밀도를 통해 움직이는 영역의 변위를 정밀하게 설명할 수 있다. 크로마의 경우 해상도는 일반적으로 수직 및 수평으로 절반으로 줄어들므로 크로마의 모션 보상은 1/8 크로마 픽셀 그리드 단위를 사용한다.
• 가중 예측을 통해 인코더는 모션 보상을 수행할 때 스케일링 및 오프셋의 사용을 지정할 수 있으며 페이드-투-블랙, 페이드-인 및 크로스페이드 전환과 같은 특수한 경우에 성능상의 상당한 이점을 제공한다. 여기에는 B-프레임에 대한 암시적 가중 예측과 P-프레임에 대한 명시적 가중 예측이 포함된다.

• "intra" 코딩의 공간 예측: MPEG-2 Part 2에서 발견되는 "DC" 전용 예측과 H.263v2 및 MPEG-4 Part 2에서 발견되는 변환 계수 예측 대신 인접 블록의 가장자리에서 공간 예측을 한다. 여기에는 16×16, 8×8 및 4×4의 루마 예측 블록 크기가 포함된다(각 매크로블록 내에서 하나의 유형만 사용할 수 있음).

• 정수 이산 코사인 변환(정수 DCT):^[40][41][42] 일종의 이산 코사인 변환(DCT)^[41]이며 변환은 표준 DCT의 정수 근사치이다.^[43] 선택 가능한 블록 크기가 있으며^[44] 복잡성을 줄이기 위한 정확하게 일치하는 정수 계산을 포함한다.
• 정확하게 일치하는 정수 4×4 공간 블록 변환을 통해 이전 코덱 디자인에서 종종 발견되는 "링잉"이 거의 없이 잔여 신호를 정확하게 배치할 수 있다. 이전 표준에서 사용된 표준 DCT와 유사하지만 더 작은 블록 크기와 간단한 정수 처리를 사용한다. H.261 및 MPEG-2와 같은 이전 표준에서 표현된 코사인 기반 공식 및 허용 오차와 달리 정수 처리는 정확하게 지정된 디코딩 결과를 제공한다.
• 정확하게 일치하는 정수 8×8 공간 블록 변환을 통해 상관 관계가 높은 영역을 4×4 변환보다 더 효율적으로 압축할 수 있다. 이 디자인은 표준 DCT를 기반으로 하지만 단순화되어 정확하게 지정된 디코딩을 제공하도록 만들어졌다.
• 정수 변환 연산에 대한 4×4 및 8×8 변환 블록 크기 간의 적응형 인코더 선택.
• 크로마 DC 계수(그리고 한 가지 특별한 경우 루마)에 적용된 기본 공간 변환의 "DC" 계수에서 수행되는 보조 Hadamard 변환은 부드러운 영역에서 훨씬 더 많은 압축을 얻는다.

• 무손실 매크로블록 코딩 기능:
• 비디오 데이터 샘플이 직접 표현되는 무손실 "PCM 매크로블록" 표현 모드^[45]를 통해 특정 영역을 완벽하게 표현하고 각 매크로블록에 대한 코딩된 데이터의 양에 엄격한 제한을 둘 수 있다.
• PCM 모드보다 실질적으로 적은 비트를 사용하면서 특정 영역을 완벽하게 표현할 수 있는 향상된 무손실 매크로블록 표현 모드.

• 인터레이스d-스캔 비디오 코딩 기능:
• 프레임으로 코딩된 그림에 매크로블록 쌍 구조를 사용하는 매크로블록 적응형 프레임 필드(MBAFF) 코딩은 필드 모드에서 16×16 매크로블록을 허용한다(프레임으로 코딩된 그림의 필드 모드 처리가 16×8 하프 매크로블록을 처리하는 MPEG-2와 비교).
• 그림을 인코딩을 위해 두 필드가 결합된 완전한 프레임 또는 개별 단일 필드로 코딩된 그림을 자유롭게 선택할 수 있도록 하는 그림 적응형 프레임 필드 코딩(PAFF 또는 PicAFF).

• 양자화 설계:
• 인코더에 의한 비트율 관리를 더 쉽게 하고 역양자화 스케일링을 단순화하기 위한 대수 단계 크기 제어
• 인코더가 지각 기반 양자화 최적화를 위해 선택한 주파수 맞춤형 양자화 스케일링 매트릭스

• 인 루프 디블로킹 필터: DCT 기반 이미지 압축 기술에 공통적인 블로킹 아티팩트를 방지하는 데 도움이 되는 인 루프 디블로킹 필터는 더 나은 시각적 모양과 압축 효율성을 제공한다.

• 엔트로피 코딩 설계:
• Context-adaptive binary arithmetic coding (CABAC)은 주어진 컨텍스트에서 구문 요소의 확률을 알고 비디오 스트림의 구문 요소를 무손실로 압축하는 알고리즘이다. CABAC는 CAVLC보다 데이터를 더 효율적으로 압축하지만 디코딩하려면 훨씬 더 많은 처리가 필요하다.
• Context-adaptive variable-length coding (CAVLC)은 양자화된 변환 계수 값의 코딩을 위한 CABAC의 저복잡성 대안이다. CABAC보다 복잡성이 낮지만 CAVLC는 다른 이전 설계에서 일반적으로 계수를 코딩하는 데 사용되는 방법보다 더 정교하고 효율적이다.
• CABAC 또는 CAVLC로 코딩되지 않은 많은 구문 요소에 대한 공통적이고 간단하며 고도로 구조화된 가변 길이 코딩 (VLC) 기술로, Exponential-Golomb coding (또는 Exp-Golomb)이라고 한다.

• 손실 복원 기능:
• 동일한 비디오 구문을 많은 네트워크 환경에서 사용할 수 있도록 하는 Network Abstraction Layer (NAL) 정의. H.264의 매우 기본적인 설계 개념 중 하나는 MPEG-4의 헤더 확장 코드(HEC)와 같이 헤더 중복을 제거하기 위해 자체 포함 패킷을 생성하는 것이다.^[46] 이는 미디어 스트림에서 하나 이상의 슬라이드와 관련된 정보를 분리함으로써 달성되었다. 상위 수준 매개변수의 조합을 매개변수 집합이라고 한다.^[46] H.264 사양에는 두 가지 유형의 매개변수 집합이 포함되어 있다. 시퀀스 매개변수 집합(SPS)과 그림 매개변수 집합(PPS)이다. 활성 시퀀스 매개변수 집합은 코딩된 비디오 시퀀스 전체에서 변경되지 않고 활성 그림 매개변수 집합은 코딩된 그림 내에서 변경되지 않는다. 시퀀스 및 그림 매개변수 집합 구조에는 그림 크기, 선택적 코딩 모드 사용 및 매크로블록에서 슬라이스 그룹 맵과 같은 정보가 포함되어 있다.^[46]
• Flexible macroblock ordering (FMO), 슬라이스 그룹이라고도 하며 임의 슬라이스 순서(ASO)는 그림의 기본 영역(''매크로블록'')의 순서를 재구성하기 위한 기술이다. 일반적으로 오류/손실 견고성 기능으로 간주되는 FMO 및 ASO는 다른 목적으로도 사용할 수 있다.
• 데이터 분할(DP)은 더 중요하고 덜 중요한 구문 요소를 서로 다른 데이터 패킷으로 분리하여 불균등 오류 보호(UEP) 및 기타 유형의 오류/손실 견고성 개선을 적용할 수 있는 기능을 제공한다.
• 중복 슬라이스(RS)는 인코더가 기본 표현이 손상되거나 손실된 경우 사용할 수 있는 그림 영역의 추가 표현(일반적으로 낮은 충실도로)을 보낼 수 있도록 하는 오류/손실 견고성 기능이다.
• 프레임 번호 매기기는 다른 그림 사이에 추가 그림을 선택적으로 포함하여 시간적 확장성을 가능하게 하고 네트워크 패킷 손실 또는 채널 오류로 인해 발생할 수 있는 전체 그림의 손실을 감지하고 숨길 수 있도록 하는 "하위 시퀀스"를 생성할 수 있는 기능이다.

• SP 및 SI 슬라이스: 슬라이스 전환을 통해 인코더는 비디오 스트리밍 비트 전송률 전환 및 "트릭 모드" 작동과 같은 목적으로 디코더가 진행 중인 비디오 스트림으로 이동하도록 지시할 수 있다. 디코더가 SP/SI 기능을 사용하여 비디오 스트림 중간으로 이동하면 스위치 전에 다른 그림 또는 그림을 전혀 참조하지 않더라도 비디오 스트림의 해당 위치에서 디코딩된 그림과 정확히 일치할 수 있다.

• 바이트 동기화를 잃을 수 있는 시스템에서 비트스트림에 대한 임의의 액세스를 허용하고 바이트 정렬을 복구하는 코딩된 데이터의 특수 비트 시퀀스인 start code의 우발적인 에뮬레이션을 방지하기 위한 간단한 자동 프로세스.

• 보조 향상 정보(SEI) 및 비디오 사용성 정보(VUI)는 비디오 콘텐츠에 사용된 색 공간을 나타내거나 인코딩에 적용되는 다양한 제약 조건과 같은 다양한 목적으로 비트스트림에 삽입할 수 있는 추가 정보이다. SEI 메시지에는 표준에 정의된 구문 및 의미 체계를 사용하여 임의의 사용자 정의 메타데이터 페이로드 또는 기타 메시지가 포함될 수 있다.

• 알파 합성과 같은 목적으로 사용할 수 있는 보조 그림.

• 단색(4:0:0), 4:2:0, 4:2:2 및 4:4:4 크로마 샘플링 지원(선택한 프로필에 따라 다름).

• 샘플당 8~14비트의 샘플 비트 심도 정밀도 지원(선택한 프로필에 따라 다름).

• 개별 색상 평면을 고유한 슬라이스 구조, 매크로블록 모드, 모션 벡터 등으로 별도의 그림으로 인코딩할 수 있으므로 인코더를 간단한 병렬화 구조로 설계할 수 있다(세 개의 4:4:4 지원 프로파일에서만 지원됨).

• 그림 순서 카운트는 타이밍 정보와 분리된 디코딩된 그림의 그림 및 샘플 값을 정렬하는 역할을 하여 디코딩된 그림 내용에 영향을 주지 않고 타이밍 정보를 별도로 전달 및 제어/변경할 수 있다.

4. 2. 프로파일과 레벨

4. 2. 1. 프로파일

• 제한된 베이스라인 프로파일 (Constrained Baseline Profile, CBP): 저비용 응용 프로그램용으로, 화상 회의 및 모바일 환경에서 주로 사용된다. 베이스라인, 메인, 하이 프로파일의 공통 기능 하위 집합에 해당한다.
• 베이스라인 프로파일 (Baseline Profile, BP): 추가적인 데이터 손실 복원력이 필요한 저비용 응용 프로그램용으로, 일부 화상 회의 및 모바일 응용 프로그램에서 사용된다. Constrained Baseline Profile의 모든 기능과 손실 복원성을 위한 세 가지 추가 기능을 포함한다.
• 확장 프로파일 (Extended Profile, XP): 스트리밍 비디오용으로, 높은 압축 기능과 데이터 손실 및 서버 스트림 전환에 대한 복원성을 제공한다.
• 메인 프로파일 (Main Profile, MP): DVB 표준 화질 디지털 TV 방송에 사용된다.^[49] 고화질 텔레비전 방송에는 하이 프로파일이 개발되면서 중요성이 줄어들었다.
• 하이 프로파일 (High Profile, HiP): 방송 및 디스크 저장 응용 프로그램, 특히 고화질 텔레비전 응용 프로그램(블루레이 디스크, DVB HDTV 방송 서비스)을 위한 기본 프로파일이다.
• 프로그레시브 하이 프로파일 (Progressive High Profile, PHiP): 하이 프로파일과 유사하지만 필드 코딩 기능은 지원하지 않는다.
• 제한된 하이 프로파일 (Constrained High Profile): 프로그레시브 하이 프로파일과 유사하지만 B(양방향 예측) 슬라이스는 지원하지 않는다.
• 하이 10 프로파일 (High 10 Profile, Hi10P): 하이 프로파일에 샘플당 최대 10비트의 디코딩된 그림 정밀도를 추가로 지원한다.
• 하이 4:2:2 프로파일 (High 4:2:2 Profile, Hi422P): 인터레이스 비디오를 사용하는 전문 응용 프로그램용으로, 하이 10 프로파일에 4:2:2 크로마 샘플링 형식을 추가로 지원한다.
• 하이 4:4:4 예측 프로파일 (High 4:4:4 Predictive Profile, Hi444PP): 하이 4:2:2 프로파일에 최대 4:4:4 크로마 샘플링, 샘플당 최대 14비트, 효율적인 무손실 영역 코딩 및 각 그림을 세 개의 개별 색상 평면으로 코딩하는 기능을 추가로 지원한다.
• 멀티뷰 하이 프로파일 (Multiview High Profile): 2개 이상의 시점을 지원하며, 그림 간(시간적) 예측과 MVC 시점 간 예측을 모두 사용하지만 필드 그림과 매크로블록 적응형 프레임-필드 코딩은 지원하지 않는다.
• 스테레오 하이 프로파일 (Stereo High Profile): 스테레오(2시점) 영상을 위한 프로파일로, 블루레이 디스크의 3D 확장에 채택되었다.

• High 10 Intra Profile: 모든 Intra 사용으로 제한된 High 10 Profile.
• High 4:2:2 Intra Profile: 모든 Intra 사용으로 제한된 High 4:2:2 Profile.
• High 4:4:4 Intra Profile: 모든 Intra 사용으로 제한된 High 4:4:4 Profile.
• CAVLC 4:4:4 Intra Profile: 모든 Intra 사용 및 CAVLC 엔트로피 코딩으로 제한된 High 4:4:4 Profile.

• Scalable Baseline Profile: 화상 회의, 모바일 및 감시 응용 프로그램용.
• Scalable Constrained Baseline Profile: 실시간 통신 응용 프로그램용 Scalable Baseline Profile의 하위 집합.
• Scalable High Profile: 방송 및 스트리밍 응용 프로그램용.
• Scalable Constrained High Profile: 실시간 통신 응용 프로그램용 Scalable High Profile의 하위 집합.
• Scalable High Intra Profile: 프로덕션 응용 프로그램용.

4. 2. 2. 레벨

High|하이^영어 프로파일의 최대 비트 전송률은 Constrained Baseline|컨스트레인드 베이스라인^영어, Baseline|베이스라인^영어, Extended|익스텐디드^영어, Main|메인^영어 프로파일의 1.25배, High 10|하이 10^영어 프로파일은 3배, High 4:2:2|하이 4:2:2^영어 프로파일과 High 4:4:4|하이 4:4:4^영어 프로파일은 4배이다.

루마 샘플 수는 매크로블록 수의 16×16=256배이며, 초당 루마 샘플 수는 초당 매크로블록 수의 256배이다. H.264에서는 프레임 간 예측을 사용하지 않는 매크로블록에 대해 위나 왼쪽에 인접한 매크로블록의 인접 화소로부터 보간을 통해 예측 화상을 생성하고, 해당 예측 화상과의 차분을 부호화하는 인트라 예측(Intra prediction|인트라 예측^영어)이 채택되었다.

5. 라이선스

H.264에는 다수의 특허권이 포함되어 있으며, 이 규격을 채용한 하드웨어 제품/소프트웨어 제품을 제조하는 기업은 특허 사용료를 지불해야 한다. 이 라이선스에 대한 관리는 특허 풀인 MPEG - LA 컨소시엄이 특허권자의 위탁을 받아 업무를 대행하고 있다.

소프트웨어 특허가 인정되는 국가에서 H.264/AVC를 사용하는 제품의 공급업체 및 상업적 사용자는 해당 제품에서 사용하는 특허 기술에 대한 특허 라이선스 로열티를 지불해야 한다.^[70] 이는 베이스라인 프로파일에도 적용된다.^[71]

MPEG LA라는 사설 단체가 이 표준에 적용되는 특허 및 MPEG-4 Part 2 비디오, HEVC 및 MPEG-DASH와 같은 다른 특허 풀에 대한 라이선스를 관리한다. 특허 보유자에는 후지쯔, 파나소닉, 소니, 미쓰비시, 애플, 컬럼비아 대학교, KAIST, 돌비, 구글, JVC 켄우드, LG전자, 마이크로소프트, NTT 도코모, 필립스, 삼성전자, 샤프, 도시바 및 ZTE가 포함된다.^[72] 풀 내 특허의 대다수는 파나소닉, 고도 가이샤 IP 브리지 및 LG전자가 보유하고 있다.^[73]

2010년 8월 26일, MPEG LA는 최종 사용자에게 무료로 제공되는 H.264로 인코딩된 인터넷 비디오에 대해서는 로열티를 부과하지 않겠다고 발표했다.^[74] H.264 비디오를 디코딩하고 인코딩하는 제품에 대한 로열티 및 무료 텔레비전 및 구독 채널 운영자에 대한 로열티와 같은 다른 모든 로열티는 계속 유지된다.^[75] 라이선스 조건은 5년 단위로 업데이트된다.^[76]

2005년 퀄컴은 H.264 비디오 압축 표준을 준수하는 제품을 제조하여 자사 특허 2건을 침해했다는 이유로 미국 지방 법원에 브로드컴을 고소했다.^[78] 2008년 12월, 미국 연방 항소 법원은 특허를 집행할 수 없다는 지방 법원의 명령을 확정했지만, 집행 불능의 범위를 H.264 호환 제품으로 제한하라는 지시와 함께 지방 법원으로 환송했다.^[78]

2023년 10월 노키아는 미국, 영국 및 기타 지역에서 H.264/H.265 특허 침해 혐의로 HP와 아마존을 고소했다.^[79]

6. 이용

H.264는 낮은 비트 전송률의 인터넷 스트리밍부터 HDTV 방송, 디지털 시네마에 이르기까지 광범위하게 사용되는 동영상 규격이다. MPEG-2 파트 2에 비해 50% 이상의 비트 전송률 절감 효과를 제공한다.^[29] 어도비 플래시를 지원하며^[1] 블루레이 디스크, HD DVD 등 다양한 표준에서 채택되었다.

6. 1. 사용률

6. 2. 브라우저

6. 3. 응용 분야

• 블루레이 디스크 및 현재는 단종된 HD DVD 형식은 H.264/AVC High Profile을 세 가지 필수 비디오 압축 형식 중 하나로 포함한다.
• 디지털 비디오 방송(DVB) 프로젝트는 2004년 말에 방송 텔레비전에 H.264/AVC 사용을 승인했다.
• 미국의 첨단 텔레비전 시스템 위원회(ATSC) 표준 기구는 2008년 7월에 방송 텔레비전에 H.264/AVC 사용을 승인했지만, 아직 미국 내 고정 ATSC 방송에는 사용되지 않고 있다.^[31][32]
• ATSC-M/H(모바일/핸드헬드) 표준에도 H.264의 AVC 및 SVC 부분을 사용하여 승인되었다.^[33]
• 폐쇄 회로 텔레비전 및 비디오 감시 시장의 많은 제품에 포함되어 있다.
• 많은 일반적인 DSLR은 QuickTime MOV 컨테이너로 래핑된 H.264 비디오를 기본 녹화 형식으로 사용한다.
• AVCHD는 소니와 파나소닉이 설계한 고화질 녹화 형식으로, H.264를 사용한다.
• AVC-Intra는 파나소닉이 개발한 인트라 프레임 전용 압축 형식이다.
• XAVC는 소니가 설계한 녹화 형식으로, H.264/MPEG-4 AVC의 레벨 5.2를 사용한다.^[34][35] XAVC는 최대 60 fps에서 4K 해상도 (4096 × 2160 및 3840 × 2160)를 지원할 수 있다.^[34][35]

• DVB-T
• DVB-S2
• 스카이 퍼펙TV! 프리미엄 서비스
• ISDB
• SBTVD (ISDB-TB)
• 원세그
• NOTTV (2016년 6월 종료)
• DMB
• 모바HO! (2009년 3월 종료)
• 퀵타임 7
• 어도비 플래시 플레이어(Adobe Flash Player) 9
• 마이크로소프트 실버라이트(Microsoft Silverlight) 3
• DivX Plus HD
• 네로 디지털(Nero Digital)
• 메모리 스틱 비디오 파일 포맷
• UMD
• AVCHD
• AVCREC
• HD Rec
• 블루레이 디스크(Blu-ray Disc)
• HD DVD
• Wii ([모두의 닌텐도 채널]])
• 액트비라

• 니코니코 동화
• 데일리모션
• eyeVio
• PANDORA.TV
• Veoh
• Youku
• 유튜브
• zoome (2011년 8월 31일에 종료)
• JNN 차세대 HD SNG 중계차^[81]
• NHK 날씨 카메라・정보 카메라^[82]

참조

_[1] Full draft MPEG-4, Advanced Video Coding (Part 10) (H.264) https://www.loc.gov/[...] Library of Congress 2011-12-05
_[2] 웹사이트 H.264 : Advanced video coding for generic audiovisual services https://www.itu.int/[...] 2019-11-22
_[3] 웹사이트 Video Developer Report 2018 https://go.bitmovin.[...] 2019-09
_[4] 웹사이트 Video Developer Report 2019 https://go.bitmovin.[...] 2019-09
_[5] 뉴스 Delivering 8K using AVC/H.264 http://www.mysterybo[...] 2017-08-23
_[6] 간행물 Via LA's Heath Hoglund Talks MPEG LA/Via Licensing Patent Pool Merger https://www.streamin[...] StreamingMedia.com 2023-05-08
_[7] 웹사이트 ITU-T Recommendations https://www.itu.int:[...] 2022-11-01
_[8] 웹사이트 H.262 : Information technology — Generic coding of moving pictures and associated audio information: Video http://itu.int/rec/T[...] 2007-04-15
_[9] 웹사이트 Joint Video Team
_[10] 뉴스 ITU-T Recommendation H.264 (05/2003) http://www.itu.int/I[...] ITU 2003-05-30
_[11] 뉴스 ITU-T Recommendation H.264 (05/2003) Cor. 1 (05/2004) http://www.itu.int/I[...] ITU 2004-05-07
_[12] 뉴스 ITU-T Recommendation H.264 (03/2005) http://www.itu.int/I[...] ITU 2005-03-01
_[13] 뉴스 ITU-T Recommendation H.264 (2005) Cor. 1 (09/2005) http://www.itu.int/I[...] ITU 2005-09-13
_[14] 뉴스 ITU-T Recommendation H.264 (2005) Amd. 1 (06/2006) http://www.itu.int/I[...] ITU 2006-06-13
_[15] 뉴스 ITU-T Recommendation H.264 (2005) Amd. 2 (04/2007) http://www.itu.int/I[...] ITU 2007-04-06
_[16] 뉴스 ITU-T Recommendation H.264 (11/2007) http://www.itu.int/I[...] ITU 2007-11-22
_[17] 뉴스 ITU-T Recommendation H.264 (2007) Cor. 1 (01/2009) http://www.itu.int/I[...] ITU 2009-01-13
_[18] 뉴스 ITU-T Recommendation H.264 (03/2009) http://www.itu.int/I[...] ITU 2009-03-16
_[19] 뉴스 ITU-T Recommendation H.264 (03/2010) http://www.itu.int/I[...] ITU 2010-03-09
_[20] 뉴스 ITU-T Recommendation H.264 (06/2011) http://www.itu.int/I[...] ITU 2011-06-29
_[21] 뉴스 ITU-T Recommendation H.264 (01/2012) http://www.itu.int/I[...] ITU 2012-01-13
_[22] 뉴스 ITU-T Recommendation H.264 (04/2013) http://www.itu.int/I[...] ITU 2013-06-12
_[23] 뉴스 ITU-T Recommendation H.264 (02/2014) http://www.itu.int/I[...] ITU 2014-11-28
_[24] 뉴스 ITU-T Recommendation H.264 (02/2016) http://www.itu.int/I[...] ITU 2016-02-13
_[25] 뉴스 ITU-T Recommendation H.264 (10/2016) http://www.itu.int/I[...] ITU 2016-10-14
_[26] 뉴스 ITU-T Recommendation H.264 (04/2017) https://www.itu.int/[...] ITU 2017-04-13
_[27] 웹사이트 H.264: Advanced video coding for generic audiovisual services - Version 26 (Edition 13) https://handle.itu.i[...] 2019-06-13
_[28] 웹사이트 H.264: Advanced video coding for generic audiovisual services - Version 27 (Edition 14) https://handle.itu.i[...] 2021-08-22
_[29] 간행물 RFC 3984 : RTP Payload Format for H.264 Video http://tools.ietf.or[...] 2005-02
_[30] 웹사이트 Which recording mode is equivalent to the image quality of the High Definition Video (HDV) format? https://ca.en.kb.son[...] 2018-12-08
_[31] 웹사이트 ATSC Standard A/72 Part 1: Video System Characteristics of AVC in the ATSC Digital Television System http://www.atsc.org/[...] 2011-07-30
_[32] 웹사이트 ATSC Standard A/72 Part 2: AVC Video Transport Subsystem Characteristics http://www.atsc.org/[...] 2011-07-30
_[33] 웹사이트 ATSC Standard A/153 Part 7: AVC and SVC Video System Characteristics http://atsc.org/cms/[...] 2011-07-30
_[34] 뉴스 Sony introduces new XAVC recording format to accelerate 4K development in the professional and consumer markets http://www.sony.co.u[...] Sony 2012-10-30
_[35] 뉴스 Sony introduces new XAVC recording format to accelerate 4K development in the professional and consumer markets http://www.xavc-info[...] Sony 2012-10-30
_[36] 뉴스 Sony goes Red-hunting with PMW-F55 and PMW-F5 pro CineAlta 4K Super 35mm sensor camcorders https://www.engadget[...] Engadget 2012-10-30
_[37] 뉴스 F55 CineAlta 4K the future, ahead of schedule http://pro.sony.com/[...] Sony 2012-10-30
_[38] 뉴스 Ultra-fast "SxS PRO+" memory cards transform 4K video capture http://www.sony.co.u[...] Sony
_[39] 뉴스 Ultra-fast "SxS PRO+" memory cards transform 4K video capture http://www.sony.co.u[...] Sony
_[40] 논문 Efficient prediction algorithm of integer DCT coefficients for H.264/AVC optimization 2006
_[41] 간행물 Reminiscences of the Early Work in DCT: Interview with K.R. Rao http://ticsp.cs.tut.[...] 2019-10-13
_[42] 서적 Image Analysis and Processing – ICIAP 2005 Springer Berlin Heidelberg 2005
_[43] 서적 Discrete Cosine and Sine Transforms: General Properties, Fast Algorithms and Integer Approximations https://books.google[...] Elsevier 2010
_[44] 웹사이트 Introducing HEIF and HEVC https://devstreaming[...] Apple Inc. 2019-08-05
_[45] 웹사이트 The H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extensions http://www.fastvdo.c[...] 2011-07-30
_[46] 문서 RFC 3984, p.3
_[47] 웹사이트 H.264 FAQ https://www.apple.co[...] Apple 1999-03-26
_[48] 웹사이트 H.264/AVC JM Reference Software Download http://iphome.hhi.de[...] Iphome.hhi.de 2010-05-17
_[49] 웹사이트 TS 101 154 – V1.9.1 – Digital Video Broadcasting (DVB); Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream http://www.etsi.org/[...] 2010-05-17
_[50] 웹사이트 Decoding the HTML 5 video codec debate https://arstechnica.[...] 2011-01-12
_[51] 웹사이트 Steve Ballmer, CEO Microsoft, interviewed at Gartner Symposium/ITxpo Orlando 2010 https://www.youtube.[...] Gartnervideo 2011-01-12
_[52] 웹사이트 HTML Video Codec Support in Chrome https://blog.chromiu[...] 2011-01-12
_[53] 웹사이트 Video, Mobile, and the Open Web https://hacks.mozill[...] 2012-03-20
_[54] 웹사이트 WebRTC enabled, H.264/MP3 support in Win 7 on by default, Metro UI for Windows 8 + more – Firefox Development Highlights https://hacks.mozill[...] mozilla 2013-02-20
_[55] 웹사이트 Firefox — Notes (35.0) https://www.mozilla.[...]
_[56] 웹사이트 Open-Sourced H.264 Removes Barriers to WebRTC http://blogs.cisco.c[...] 2013-11-01
_[57] 웹사이트 Cisco OpenH264 project FAQ http://www.openh264.[...] 2021-09-26
_[58] 웹사이트 OpenH264 Simplified BSD License https://github.com/c[...] 2013-11-21
_[59] 웹사이트 Video Interoperability on the Web Gets a Boost From Cisco's H.264 Codec https://blog.mozilla[...] 2013-11-01
_[60] 웹사이트 Updated README · cisco/openh264@59dae50 https://github.com/c[...]
_[61] 문서 x264 4:0:0 (monochrome) encoding support http://code.videolan[...] 2019-06-05
_[62] 문서 x264 4:2:2 encoding support http://code.videolan[...] 2019-06-05
_[63] 문서 x264 4:4:4 encoding support http://code.videolan[...] 2019-06-05
_[64] 문서 x264 support for 9 and 10-bit encoding http://code.videolan[...] 2011-06-22
_[65] 문서 x264 replace High 4:4:4 profile lossless with High 4:4:4 Predictive http://code.videolan[...] 2011-06-22
_[66] 웹사이트 Quick Reference Guide to generation Intel Core Processor Built-in Visuals http://software.inte[...] Intel Software Network 2011-01-19
_[67] 웹사이트 Intel Quick Sync Video http://www.intel.com[...] www.intel.com 2011-01-19
_[68] 웹사이트 Design-reuse.com http://www.design-re[...] Design-reuse.com 2010-05-17
_[69] 웹사이트 Category:DM6467 - Texas Instruments Embedded Processors Wiki http://processors.wi[...] Processors.wiki.ti.com 2011-07-30
_[70] 웹사이트 Briefing portfolio http://www.mpegla.co[...]
_[71] 웹사이트 OMS Video, A Project of Sun's Open Media Commons Initiative https://web.archive.[...] 2008-08-26
_[72] 웹사이트 Licensors Included in the AVC/H.264 Patent Portfolio License https://www.mpegla.c[...] 2019-06-18
_[73] 웹사이트 AVC/H.264 – Patent List https://www.via-la.c[...] 2024-04-28
_[74] 웹사이트 MPEG LA's AVC License Will Not Charge Royalties for Internet Video that is Free to End Users through Life of License https://web.archive.[...] MPEG LA 2010-08-26
_[75] 뉴스 MPEG LA Cuts Royalties from Free Web Video, Forever https://www.pcmag.co[...] pcmag.com 2010-08-26
_[76] 웹사이트 AVC FAQ https://web.archive.[...] MPEG LA 2002-08-01
_[77] 웹사이트 United States Patent 9,356,620 Baese, et al. https://patents.goog[...] 2022-08-01
_[78] 문서 Qualcomm Inc. v. Broadcom Corp. http://caselaw.lp.fi[...]
_[79] 웹사이트 nokia h264 https://www.nokia.co[...]
_[80] techreport MPEG-4, Advanced Video Coding (Part 10) (H.264) https://www.loc.gov/[...] Library of Congress 2011-12-05
_[81] 간행물 「JNN次世代HD-SNG中継車」標準仕様車について 兼六館出版 2014-05
_[82] 간행물 ロボットカメラモニタリングシステムの更新 兼六館出版 2009-03
_[83] 웹사이트 H.264のライセンス料、無料ネット動画は恒久的に不要に https://www.itmedia.[...] 2023-05-28
_[84] 웹사이트 MPEG LA counters Google WebM with permanent royalty moratorium https://arstechnica.[...] 2010-08-26
_[85] 문서 Wild Fox Project http://wildfox.sourc[...]
_[86] Engadget Mozilla が H.264 をサポートへ、webM 一本化を断念 https://web.archive.[...] 2012-03-20
_[87] 문서 HTML5 Extension for Windows Media Player Firefox Plug-in http://www.interoper[...]
_[88] 웹인용 AVC/H.264 FAQ http://www.mpegla.co[...] 2016-09-15
_[89] 웹인용 OpenH264 FAQ licensing fees. http://www.openh264.[...] 2016-04-20
_[90] 웹인용 H.262 : Information technology — Generic coding of moving pictures and associated audio information: Video http://itu.int/rec/T[...] 2007-04-15
_[91] 뉴스 ITU-T Recommendation H.264 (04/2017) https://www.itu.int/[...] ITU 2017-04-13